Khoảng năm 1984, Lionel và vợ của ông là Brenda Richie nhận nuôi một bé gái 3 tuổi. Họ chăm sóc cô bé như con đẻ của mình và đặt tên nó là Nicole Richie. Đến năm 1990, họ mới có được giấy phép chính thức được quyền nuôi đứa bé. Thế nhưng sau 16 năm chung sống, Brenda và Lionel ly dị. Dường như ngay lập tức, Lionel cưới Diane Alexander làm vợ thứ hai. Ông và Diane có hai người con. Một trai một gái. Con trai lớn của ông tên là Miles Richie còn em gái anh ấy là Sofia Richie. Sofia hiện đã 22 tuổi và chơi rất thân với các celebrities khác như Kendall Jenner, Kylie Jenner, GiGi Hadid,...